LoRA-based PEFT
from
FLにおける事前学習済みモデルの検討
LoRA-based PEFT
PTMの凍結された層に、小さな「低ランク行列（Low-Rank matrices）」を2つ挿入
その積が元の重み行列の更新量を近似するように学習
pros
通信・計算コストを劇的に削減
cons
集約バイアス、DPノイズによる不安定性
cf.
Improving LoRA in Privacy-preserving Federated Learning